2024年3月21日

長く健康に、生き生きと暮らすための根幹となる体の運動機能。しかし、現在も多くの人が腰痛などの不調に悩まされています。筋肉の動かし方や姿勢の改善には日常的な運動機能のケアが非常に重要ですが、病院、クリニックなどでの理学療法士による運動機能のケアとなると、そう頻繁に受けられるものではありません。セルフケア支援AI技術は、こうした問題に着目し、運動機能のセルフケアの質を大きく向上させるという技術だといいます。本技術の目的や詳細について、研究者に話を聞きました。

自宅での運動機能のセルフケアを理学療法士レベルに

― セルフケア支援AI技術とは、どのような技術なのでしょうか？

小阪：自宅にいながらでも、運動機能の維持・向上ができるように支援するAI技術です。スマートフォンやタブレットPCのカメラで前屈・後屈・回旋の様子を撮影したあと、チェック形式の問診に答えるだけで、一人ひとりの状態にあわせた運動プログラムを提供することができます。運動機能の回復や維持等を目的としたリハビリテーションの専門家である 理学療法士のノウハウを詰め込んだ、質の高い運動機能のケアを日常的に支援できることがポイントです。現在は、国民病とも呼ばれているほど有訴者（自覚症状がある人）が多い腰痛にフォーカスしており、特に慢性の非特異的腰痛（慢性腰痛）を対象にして、その原因推定と運動プログラムを推薦するところまでできるようになりました。

技術の開発をめざした背景には、2040年に向けて急速に進む高齢化があります。医療や介護のニーズが高まるなか、運動機能の維持・向上を図るためのサービス提供体制の構築が必要であると、国も方針を示しているところです。特に強調されているのは、「量」と「質」の両面が重要だという点です。例えば、現状でも月に数回程度、通院で医師や理学療法士などの専門家から質の高い運動機能のケアを受けることができますが、日常的にそれを受けるということは現実的ではありません。通院で十分な「量」を確保することは、場所や時間、経済的な理由などの問題を考えても極めて難しいのです。そこで、「量」を増やすために重要となると考えられているのが、運動機能のセルフケアです。しかし、専門的な知識がないままに運動機能の正しいセルフケアを行うことは、極めて難しいものです。つまり、こんどは「質」を担保することができなくなってくるわけですね。このように、「量」と「質」の両立は非常に難しいものなのです。そこで、私たちはAI技術を活用することによって、この課題の解決をめざしました。

私たちの技術には、大きく分けて三つの機能があります。一つ目は、カメラ映像から、身体の部位ごとの状態を評価する状態評価機能です。映像によって、外から見た際の身体の部位ごとの状態を評価していきます。例えば、屈曲不足、正常な屈曲、過剰な屈曲等のようなかたちです。

二つ目は、カメラ映像に加えて、問診情報から不調の原因を探る推論機能です。視覚情報だけではなく、問診情報などを利用することで不調の原因を深く探っていくことができます。例えば慢性腰痛の原因を探るときに、見た目だけでは腰の状態がちょっと曲がりすぎているなどの情報しかわからないものですが、問診情報を加えて推論することで、慢性腰痛の主要な原因は首にあるというようなことまで提示できるのです。

三つ目は、その原因を解決するための運動プログラムを提示することができる機能です。一人ひとりのその時々の状態に合わせた解像度の高い運動プログラムを推薦することができます。

これらの技術は、NEC内の3つの研究チームが連携して実現したものです。はじめは私たちヘルスケアを重点的に扱うチームで進めていたのですが、目標を実現するためには骨格推定技術も自動推論技術も必要になったので、その領域を研究するチームにお声がけして横断的な研究に取り組んできました。こうした研究がスピーディーに実現できるのはNECならではの強みだと思います。エレベーターに乗ってフロアを移動すれば、他領域の研究者がいて、すぐにいっしょにやりましょうと言えるのですから。広い領域で独自の研究を積み重ねてきたNECならではの強みを活かすことができたと思っています。

スマートフォンで全身を映すだけで高精度な3D骨格モデルを作成

― 一つ目の機能が、カメラ映像から身体の部位ごとの状態を評価する状態評価機能ですね。

小阪：そうです。状態評価機能は二つの技術がカギとなっています。一つが2D/3D骨格推定技術で、もう一つが姿勢状態認識技術です。


池田：2D/3D骨格推定技術は、カメラに映る人物映像から3次元の骨格モデルをリアルタイムでつくり出すことができる技術です。関節をキーポイントとして3次元の点で抽出し、それらを線で結んで人の動きをモデル化することができます。実は、このような技術は他にも似たようなものが存在しているのですが、今回私たちが開発したものは二つの点で一線を画しています。

まず一つは、スマートフォンなどの一般的なカメラ映像から気軽に骨格モデル作成ができるという点です。特別なカメラは必要なく、スマートフォンのカメラ1台があればOKです。もともとのコンセプトとして、自宅にいながら誰でも気軽に使えることをめざしていましたので、スマートフォンのカメラを使って簡単に活用できるような仕組みを実現していきました。本技術の実現にあたっては、撮影角度に頑健なAIの学習方式を開発しています。これによってカメラの厳密な位置調整などが必要なくなり、自分が映る位置にスマートフォンをセットさえすれば機能させることができるようになりました。たとえ撮影途中でカメラが動いてしまったとしても、問題なく追随して骨格を推定しつづけることができます。

もう一つは、リハビリテーションに特化したモデルを作成したという点です。リハビリテーションでは骨一つ分以下の誤差など、非常に高精度な認識が求められますから、精度よく認識できる独自のAIを構成していきました。

また、リハビリテーションでは体の「ひねり」を評価することが重要となるのですが、ひねりは体の片側が背中の後ろに隠れてしまいますし、奥行きの高精度な推定が必要なため、一般的に2Dのカメラ映像から3Dのモデルに起こしていくことは非常に困難だとされていました。そこで、私たちは構築された独自のAI（ディープラーニング）をうまく学習することで、この問題を解決していきました。


石井：そうですね。ただ、最初にぶつかった問題は、学習データをどう集めるかでした。ディープラーニングでは、学習データの量と質が精度に直結していきます。そこでまず、撮影スタジオを設けてキャストさんを大勢手配し、多数のカメラで取り囲むように一人ひとりを撮影しました。さらに、撮影後もAIに正しい関節点の位置を学習させていかなければなりません。そのためには、撮影した映像内の人物の関節点位置を3Dで「正解づけ（アノテーション付け）」する必要があります。これが、手作業で行うと非常に時間のかかる大変な作業です。そこで、正解づけを上手く自動化できる技術を開発してAIに学習させる教師データを作成していきました。腰などの重要なエリアに対しては、特に細かくデータをつくり込んでいます。

また、奥行きの情報を精度よく得るために、人の体のさまざまな部位とカメラとの関係性に着目した学習方法をつくっていきました。このことが、ひねりに対してもロバストに対応できる高精度な骨格推定を実現させています。また、これが結果的にカメラの撮影角度に依存しない骨格推定の実現にもつながりました。

専門家のノウハウを詰め込んだ姿勢状態認識

― その2D/3D骨格情報をもとに、姿勢状態認識技術を使って状態評価を行っているわけですね。

野寄：はい。2D/3D骨格情報に加えて、前屈・後屈・回旋の動作を映したカメラ映像から背骨の曲がり具合を細かく見るという独自の技術も加えて、身体の部位ごとの状態を評価していきます。慢性腰痛は骨格情報だけでなく、背骨のどの部分が曲がっていて、どの部分が曲がっていないかなどという点を細かく見ていかなければ、原因を探ることができないからです。従来はレントゲンや背骨を沿わせるような医療機器を使ってようやく判断できるものでしたが、今回の技術では、一般的なカメラ映像から細かい背骨の曲がり具合を捉えられるようにしていきました。こうした2D/3D骨格情報や背骨曲がり具合を総合的に見ていくことで、身体の部位ごとの状態を高精度に評価していくことが可能になっています。


鈴木：本技術では、身体の部位ごとの状態を評価した結果の理由を導くことが非常に重要であったため、ディープラーニングは使っていません。ディープラーニングはブラックボックス型のAIで、出力した判断の根拠が不明になってしまうからです。そのかわりに、共同研究先の東京医科歯科大学の先生や理学療法士の方の知識やノウハウを活用していきました。例えば回旋動作であれば、この身体の部位が曲がっていない特徴としてこの代償動作が起こる、といった知識です。また、3次元的な動きである回旋動作では、2次元的な動きである前屈・後屈動作に比べて骨格推定の結果がやや不安定になります。そのため、回旋動作中の人間の骨格的な制約として、ここの部位が動いたらこっちの部位も動くという知識であったり、この部位はあまり動かないといったりするような知識を用いて、2D/3D骨格推定技術で関節点をキーポイントとして抽出した場合に起こるエラーを自動補正し、身体の部位ごとの状態をより正確に評価することができるようにしていきました。


野寄：本技術の研究は、東京医科歯科大学と共同で行っています。これにより、医師の先生やNECカラダケア（注1）在籍の理学療法士の方々の医学的な知識を採り入れることができました。前屈動作の場合では、どの部位の動きをどう判断するか、どこまでの動きを正常とするのか。そのようなことを一つひとつ相談しながらカメラ映像から得られる情報の評価基準をつくりあげていきました。前例のないことなので、こうしたことを細かくまとめたモデルは世の中に存在していません。皆さんのなかにある暗黙知を丁寧に聞き出していきながら、身体の部位ごとの状態を高精度に評価するAIをつくりだしていきました。

不調の根本的な原因を高精度に推定

― 二つ目の機能が、映像と問診の結果から不調の原因を探る推論機能でした。

川田：はい、そうです。姿勢状態認識の結果に加えて、どこが痛くてどういう時に痛むのかなどの問診結果を参照しながら、慢性腰痛の根本的な原因を探っていくというのが機能の概要です。本機能は、仮説推論という技術を使って実現させています。これはNEC独自の技術で、大規模なルールベースに基づいて、与えられた証拠から妥当な仮説を提示するものです。納得できる論拠を確保するために、ブラックボックスではなく論理の道筋をたどることができるシステムとなっています。

具体的には、理学療法士さんに話をうかがって、慢性腰痛に関して頭の中で考えていることを全て出してもらい、それをルール化するということに取り組みました。仮説推論で求められるルールの枠組みと、理学療法で求められるルールの枠組みをうまく言語化して整合性を取るという調整を繰り返しています。「腰の屈曲が不足している」などの課題を理学療法学的に裏付けられた「運動学的課題」という枠組みを用いて定義するほか、痛みの場所と条件をどのように定義したらいいかなど、理学療法士の方と何度もディスカッションをしながらルールをつくっていきました。こうしてつくりあげたルールの数は、およそ1500 にも及びます。理学療法士の方が問診して見立てを行い、結論を導いていくという過程を再現することをめざしました。昔で言うと「エキスパートシステム」に近いものかもしれません。ただ、現代的な技術を使って大規模なルールを扱えるように、うまく数学的な最適化問題に変換して、解を出力するまでの時間を高速化したという点が、一つの技術的なポイントになっています。

本技術によって原因を推定すると、どのようにして結果が提示されたかというプロセスが、ノードとリンクを用いたネットワークモデルのようなかたちで視覚的にわかるようになっています。これにより、リンクが集中している部分が不調に大きくかかわる要因であると推測することができます。また、体の各部位の不調の相互作用が一目でわかることも大きなメリットです。腰の不調は、腰だけではなく肩や膝などが関わっていることもしばしばです。体全体の相互作用も明らかにすることで、推論の精度や説明性を大きく向上させています。

また、図示とあわせて、LLMを通じた要約機能も搭載しました。図から何がわかるか、自分がどういう状態なのかを自然言語で示すことで、わかりやすさとユーザビリティを向上させています。

運動プログラムを手本動画とともにリコメンド

― 三つ目の機能が、一人ひとりの状態にあわせて最適な運動プログラムを推薦するというものでしたね。

小阪：そうです。単に類型的に運動プログラムを推薦するわけではなく、一人ひとりのその時々の状態やこれまでの運動プログラムなどを総合的に鑑みて、最適な運動プログラムを手本動画とともに推薦することができます。手本動画が提供されるため、慢性腰痛を持つ人自身で、自宅などで動作を確認しながら運動プログラムに取り組むことが可能です。一度はこの推薦機能を実現させたことで、ついにリリースができると考えていたのですが、よくよく考えてみると、その運動プログラムを正しく実行できる人もいればできない人もいるわけです。やはり幅広い方々に本技術を活用したサービスを提供するためには、正しく運動ができるようにフィードバックすることも必要だと考え直しました。そこで、新たに運動のコーチング機能の開発をスタートしました。その開発を担当してくれているのがカレンさんです。


カレン：はい、そうですね。私が今開発中の運動をコーチングするシステムは、運動を行う様子を撮影して動画をアップロードすれば、システムが動画中の運動を解析して文章でフィードバックしてくれるというものです。例えば「足を開きすぎないように」だとか「90度の角度をキープしましょう」というようなイメージですね。「体幹はまっすぐになっているからOKです！」など、正しい動きも判定して示すことができます。これらのフィードバックに従うことで、自宅にいながら一人でも正しく運動を実施することができるようになります。

また、これらのフィードバックは、条件に従って固定されたメッセージを提示しているわけではありません。一人ひとりのその時々の状態に適応し、ときには上手くモチベートさせていくためにもLLMを使って文章を生成しています。

― 正しい動きかどうかは、どのように判断しているのでしょうか？

カレン：AIに学習させています。ただ、他の技術の紹介でもあったように、良質なデータをいかに集めるかという点が開発におけるボトルネックになっていました。というのも、公開されている運動関係のデータセットは、ジムでのトレーニングやヨガなどの体を大きく動かす運動の動画が中心です。私たちがターゲットとしているようなリハビリテーションを中心とした運動プログラムは動きが非常に小さいため、それらのデータセットをそのまま活用することができません。そこで、いま私たちはNECカラダケアの理学療法士の方の知見をいただきながら、自分たちでデータを作成するという取り組みを続けています。


小阪：NECカラダケアの理学療法士の方に、正しい運動の仕方とよくある間違った運動の仕方を教えていただきます。そして、それを覚えて社内に戻ってきて、研究者の皆さんに演技して伝えます。私やカレンさんも、すっかり演技がうまくなりました(笑) それで皆さんにも実演してもらって、正解データと間違いのデータをつくっていくのです。少々地道な方法ではありますが、自社で東京医科歯科大学と連携した店舗を運営するNECならではの強みでもあります。理学療法士の方に細かいノウハウを教えていただきながら独自の良質なデータをつくり、研究の精度を上げているところです。

個人向けサービスとして実証を検討中

― 今後の展開や目標を教えてください。

小阪：来年度には本技術を使ったサービスの実証を進めていこうと考えています。事業化を想定するうえでも、まずは市場に出していくということが非常に重要です。実際にご活用いただくことでデータを蓄積することもできます。そうすると技術も洗練させていくことができますし、学習用のデータが少ないという私たちが抱える問題も解決することができるはずです。もちろん個人情報管理の徹底は前提となりますが、実社会での運用は、第一の目標です。

もう一つ挙げると、海外市場への展開も考えているところです。特にタイなどの東南アジアには理学療法士の数がそもそも少ないという課題があります。これは質の高いサービスを受けたくても受けられない方がいらっしゃるということだと思っているので、本ソリューションを持っていくことで皆さんの健康を維持するためのお手伝いができないかと考えています。


野寄：いま小阪さんから、本技術がサービス化されて世に出たらデータがどんどん蓄積されていくという話がありましたが、私は技術的な視点から、そのデータをより効率的に活用できるようにしていきたいと考えています。なかでもアノテーション作業では、これまで東京医科歯科大学の先生に多大な時間を割いてラベル付けをしていただいていました。もしデータが増えてくるようになればこうした対応は難しくなりますから、作業するデータを厳選するなどの工夫が必要になると考えています。例えば私たちのエンジンで出力された関節点や背骨のラインが既に当たっているようであれば補正はいらないわけですし、データの全てが有用であるとも限りません。そうしたことを踏まえてさまざまなアプロ―チからアノテーションの効率化を実現できるような技術を検討して、これからの実用化に備えていきたいと考えています。

鈴木：私は本技術が慢性腰痛以外の症例をターゲットにできるようになったときに、効率的に動作を認識できる技術を開発したいと考えています。というのも、前屈、後屈、回旋の各動作について東京医科歯科大学の先生や理学療法士の方にお話をおうかがいしながら、多くの時間とコストをかけて技術をつくり込んでいます。高精度に状態を判断するために必要なことではあるのですが、前屈、後屈、回旋それぞれの認識技術をかなり細かく設計しているため、今後他の動きを認識しようとした際にはまたイチから技術をつくらなければならない状況です。例えば前屈、後屈、回旋以外の動きの認識技術にもスピーディーに適用できるような汎用的なAIであったり、新しい技術の開発をめざしていく必要があると考えています。


池田：今後、さらに状態評価の精度を上げていくということを想定すると、私たちも関節点だけではなく、映像から取得する情報量をもっと増やしていく必要があると考えています。例えば肩の細かい動きを見るのであれば、肩の表皮の特殊な点を推定することが必要になるでしょう。首の動きをより精度よく見る場合には、首の細かい関節を一つひとつ推定して3次元の動きを見ることも必要です。このように体の表皮であったり、細かな関節であったり、さらには骨格だけでなく人間の体積も含めて取得できるようになれば、もっと多様な状態評価に使えるようになるはずです。

もう一つ取り組んでいきたいのは、ロバスト化技術に基づく適用範囲の拡大ですね。現在は在宅環境でのセルフケアを想定していますが、自由な撮影角度でリアルタイムに3D骨格を認識できるという本技術のポテンシャルは非常に高いと考えています。今後は、たとえば警察官の屋外パトロール用に使用するなど、さまざまな可能性を考慮して研究をつづけていきたいと考えています。

石井：私も池田さんの言うように、出力できる情報を増やすということには挑戦していきたいと考えています。いまは棒人間の骨格情報しか出ませんが、体型の情報がわかったり、皮膚がどのように動いているかわかったりするような技術の開発は、めざしていきたい目標の一つです。

もう一つは、学習データの問題を解決したいですね。学習データの質と量の確保がボトルネックになっているという現在の状況を考えると、3Dのアノテーションデータが少量しかなくても、もしくは全くなくても高精度なモデルが学習できるようになる仕組みの実現が、今後の研究開発を飛躍させる大きなカギになるのではないかと考えているところです。少データ学習や自己教師あり学習、教師なし学習など、さまざまなエッセンスを取り入れて、学習データの量に依存しない技術をつくっていければと思っています


川田：私は今後、現在の知識ベースをうまく拡張する方法を検討していきたいと考えています。今回の慢性腰痛に関しては理学療法士の方の頭の中をうまく言語化して、知識ベースに落とし込むことができましたが、下手をするとこのようなやり方は理学療法士さんが持っている暗黙知を言語化するための暗黙知にもなりかねないのです。

なので、今後例えば慢性腰痛以外にも適用範囲を広げていったり、映像情報や問診項目などの入力情報が追加、更新されていったりしたときに、既存の知識ベースとどう対応づけていくか、どう広げていくかという点は、引き続き取り組まなければならない課題だと考えています。なるべく複雑化せずに、問題を簡潔にしていくということが一つのアプロ―チになると思っています。

これにはもちろん理学療法士の方のご協力は不可欠になりますが、ただそのときにどうすれば効率的にノウハウを引き出せるか。さらに、彼らの手をできる限り煩わせることなく知識ベースを広げ、さまざまな症状に対応できるようにしていくかという点は、これから考えていきたいです。


カレン：私は運動をコーチングするシステムの開発を、もっと効率化していきたいと考えています。というのも、運動プログラムには同じ筋肉を動かすものでも、初心者向けや中級者向けなど、非常にたくさんのバリエーションが存在しているからです。これらすべての運動プログラム一つひとつに対して正しい動きと誤った動きを学習していこうとすると、必要な教師データもコストも膨大になるため、本技術を使ったサービスをスケールさせていくことができません。

たとえば初心者向けの運動プログラムをうまく学習すれば、同じカテゴリーの運動プログラムの中級者、上級者向けのものでも間違った動きを検知できるようにするなど、もっと効率的に学習させていく方法があるはずです。そういった効率的な方法を研究していきたいですね。


小阪：本技術は、サービス化して広くたくさんの方にお届けすることをめざしています。日々の良質なセルフケアを提供することで皆さんの健康に貢献することができるように、これからも研究をつづけていきたいと思っています。

メンバー紹介

NECの最先端技術一覧へ戻る